Wi-Fi and Satellite-Based Location Techniques for Intelligent Agricultural Machinery Controlled by a Human Operator

In the new agricultural scenarios, the interaction between autonomous tractors and a human operator is important when they jointly perform a task. Obtaining and exchanging accurate localization information between autonomous tractors and the human operator, working as a team, is a critical to maintaining safety, synchronization, and efficiency during the execution of a mission. An advanced localization system for both entities involved in the joint work, i.e., the autonomous tractors and the human operator, provides a basis for meeting the task requirements. In this paper, different localization techniques for a human operator and an autonomous tractor in a field environment were tested. First, we compared the localization performances of two global navigation satellite systems’ (GNSS) receivers carried by the human operator: (1) an internal GNSS receiver built into a handheld device; and (2) an external DGNSS receiver with centimeter-level accuracy. To investigate autonomous tractor localization, a real-time kinematic (RTK)-based localization system installed on autonomous tractor developed for agricultural applications was evaluated. Finally, a hybrid localization approach, which combines distance estimates obtained using a wireless scheme with the position of an autonomous tractor obtained using an RTK-GNSS system, is proposed. The hybrid solution is intended for user localization in unstructured environments in which the GNSS signal is obstructed. The hybrid localization approach has two components: (1) a localization algorithm based on the received signal strength indication (RSSI) from the wireless environment; and (2) the acquisition of the tractor RTK coordinates when the human operator is near the tractor. In five RSSI tests, the best result achieved was an average localization error of 4 m. In tests of real-time position correction between rows, RMS error of 2.4 cm demonstrated that the passes were straight, as was desired for the autonomous tractor. From these preliminary results, future work will address the use of autonomous tractor localization in the hybrid localization approach

Space-based task allocation in robotic fleets with adaptive autonomy

Zusammenfassung in deutscher SpracheEine vernetzte Roboterflotte besteht aus Robotern, die eine gemeinsame Mission durchführen können. Da die einzelnen Roboter sich in ihrer Umgebung koordinieren können, um ihre besonderen, oft heterogenen Kapazitäten bestens in der gemeinsamen Mission einzusetzen, ist der Einsatz einer Roboterflotte effizienter als der Einsatz eines einzigen multifunktionalen Roboters. Allerdings ist der Einsatz einer Roboterflotte heutzutage meistens auf strukturierte und kontrollierte Umgebungen begrenzt, wo die Mission der Flotte durch ein zentralisiertes System gesteuert wird. In dieser Doktorarbeit wurden verteilte Steuerungsansätze erforscht und Methoden und Algorithmen für die Anwendung von Roboterflotten in heterogenen und unstrukturierten Umgebungen entwickelt, in denen die Mission in einem Wechselspiel zwischen Robotern und Menschen ausgeführt wird. In der Arbeit wird ein bereits etabliertes zentralisiertes Koordinationsverfahren mit mehreren neuartigen verteilten Algorithmen verglichen. Die Arbeit adressiert neue Anforderungen an die Interkommunikation, die Aufgabenverteilung, die Koordination und die Zusammenarbeit von Roboterflotten, die sich aus den Besonderheiten von Flotteneinsätzen ergeben. Insbesondere ist die zuverlässige Kommunikation zwischen den Robotern der Flotte für eine effiziente Koordination erforderlich. Dem in der Arbeit entwickelten neuartigen Koordinationsmodell liegt eine effiziente Aufgabenverteilung zugrunde, die eine komplexe Mission in einzelne Aufgaben unterteilt, und diese einzelnen Robotern entsprechend ihrer Kapazitäten optimal zuweist. In diesem verteilten Verfahren unterstützen die Menschen, die an der Mission teilnehmen, die Flotte bei der Aufgabenverteilung, wenn das formalisierte Wissen über die Aufgaben und Roboterkapazitäten für den Entscheidungsprozess nicht ausreicht. So wird der Mensch, der in traditionellen Systemen die Rolle eines Teleoperators hatte, in diesem System, das Kooperation und Koordination in den Vordergrund stellt, zu einem Flottenmitglied, das die Steuerungsaufgabe nach Bedarf dem System überlässt oder sie selbst übernimmt. Dieses Konzept wird als adaptive (Entscheidungs-) Autonomie bezeichnet. In dieser Arbeit wurde ein allgemeines Koordinationsframework und verteiltes Entscheidungssystem entwickelt, das auf jedem Roboter der Flotte vorhanden ist und so zum Einsatz kommt. Das Koordinationsframework wird basierend auf dem Space-Based Computing (SBC) Middleware Mozartspaces entwickelt, und mittels semantischen Modellierungs- und Schlussfolgerungseinsetzens erweitert. Das Wissen, das zwischen Mensch und Flotte geteilt wird, und für die Entscheidungen bezüglich der Aufgabenverteilung genutzt wird, ist semantisch beschrieben. So vereint dieses Koordinationsframework die Vorteile der "loose coupling Architektur des SBC Middlewares, die Entscheidungsautonomie der Roboter, sowie Flexibilität in der Datenmodellierung. Für die Evaluierung des Frameworks wurde eine umfassende Evaluierungsstudie durchgeführt. Die Performance verschiedener Kooperationsmodelle wurde mittels konkreten Leistungsindikatoren quantifiziert. Infolge wird ermittelt, in welchen Szenarien des Flotteneinsatzes sich verschiedene Koordinationsmodelle am besten eignen. Die Ergebnisse zeigen, dass adaptive Autonomie und geteiltes Wissen die Performance der Aufgabenverteilung verbessern.Networked robotic fleet consists of multiple robots with heterogeneous capabilities that jointly perform a mission. Due to the ability to distribute heterogeneous robots in a working environment and exploit their cooperation and collaboration capacities, it has been shown that utilizing a robotic fleet for accomplishing a given mission is faster and more efficient than using a single robot. However, nowadays, robotic fleets are mostly limited to execute missions in structured and controlled environments where a centralized system manages and supervises mission execution. With the goal to shift a focus from centralized to distributed control systems, this thesis explores the potential to use robotic fleets in heterogeneous and unstructured environments in scenarios requiring collaboration in mixed human-robot teams. It addresses new challenges related to communication, task allocation, coordination, collaboration, cooperation, and adaptive autonomy, and compares the well-established centralized coordination approach with several new distributed approaches. Reliable communication between distributed heterogeneous team members is a necessary condition for efficient coordination. An efficient coordination model is a critical enabler for task allocation which is a fundamental problem in multi-robot systems where the core requirement is to find an optimal set of heterogeneous robots that have to cooperate to execute a complex mission. To work together on complex tasks, humans and robots have to conform to efficient collaboration and cooperation models. The transition to cooperation and collaboration mode implies the change of role a human has as a remote operator in traditional systems to the peer who jointly performs tasks with the fleet members. The thesis focuses on a development of a general coordination framework with a distributed decision making system deployed on each robot in a fleet. The coordination framework is based on the Space-Based Computing (SBC) paradigm extended with the Semantic Web Technologies resulting in semantic shared data space which allows annotating shared data with machine-understandable metadata. While the SBC paradigm provides for strongly decoupled architecture and preserves autonomy of the interacting team members, processing the metadata introduces flexibility in modelling collaboration processes in the fleet. For the evaluation of the developed coordination framework, established is a comprehensive benchmark setting utilized to quantify concrete performance indicators of different coordination approaches. Moreover, it is analyzed which scenarios are best suited for the developed coordination approaches. The results indicate that adaptive autonomy and shared knowledge improve performance in task allocation in complex missions.20

Harnessing coherence of area decomposition and semantic shared spaces for task allocation in a robotic fleet

Task allocation is a fundamental problem in multi-robot systems where heterogeneous robots cooperate to perform a complex mission. A general requirement in a task allocation algorithm is to find an optimal set of robots to execute a certain task. This paper presents the work that harnesses an area decomposition algorithm, and a space-based middleware to facilitate task allocation process in unstructured and dynamic environments. To reduce spatial interference between robots, area decomposition algorithm divides a working area into cells which are then dynamically assigned to robots. In addition, coordination and collaboration among distributed robots are realized through a space-based middleware. For this purpose, the space-based middleware is extended with a semantic model of robot capabilities to improve task selection in terms of flexibility, scalability, and reduced communication overhead during task allocation. In this way a framework which exploits the synergy of area decomposition and semantically enriched space-based approach is created. We conducted performance tests in a specific precision agriculture use case focusing on the utilization of a robotic fleet for weed control introduced in the European Project RHEA – Robot Fleets for Highly Effective Agriculture and Forestry Management